视觉退化下空间智能评测基准 SpaceDG
🧭 多模态大模型空间推理鲁棒性评测
Shanghai Jiao Tong University · Shanghai Artificial Intelligence Laboratory · University of Electronic Science and Technology of China · Chongqing University · The University of Tokyo
首次大规模评测多模态模型在真实视觉退化下的空间推理鲁棒性，并证明退化感知训练可超越人类
📌 工作参考价值（4 点）
- 退化数据增强提升 Agent 鲁棒性：在训练电商搜索、虚拟试穿等多模态 Agent 时，可直接引入 SpaceDG 的退化合成引擎（基于 3DGS）生成逼真的运动模糊、低光照、JPEG 压缩等图像，能显著提升模型对真实世界图像质量的鲁棒性，且不损害干净图像性能。
- 空间推理任务的迁移：SpaceDG-Bench 定义的三类空间任务（相机中心、相机-物体、物体中心）可改造为商品陈列合理性判断、家具摆放推荐等电商场景的评测，检验模型对空间关系（如“笔记本相对显示器在左边”）的理解。
- 退化下的多模态 fallback 策略：评测发现纯文本基线（GPT-5.4 无图像）在严重退化时准确度居然超过某些视觉模型，提示 Agent 设计时可在图像质量过低时自动切换至纯文本推理模式，避免错误空间决策。
- 训练效率启示：在 SpaceDG 退化数据上微调后，8B 模型即可超越人类退化条件下的表现，说明小模型通过针对性数据增强也能获得强鲁棒性，适合电商侧轻量部署。